06. 前馈练习

下图是一个前馈网络,包含

  • 一个输入 x
  • 两个隐藏层
  • 一个输出

第一个隐藏层有M个神经元。

第二个隐藏层有N个神经元。

单个前馈传导需要乘法运算的总次数是多少?

SOLUTION: M+N+NM

解决方法:

为了计算单个前馈所需的乘法次数,我们可以将网络分成三个步骤:

  • 第1步:从单个输入到第一个隐藏层
  • 第2步:从第一个隐藏层到第二个隐藏层
  • 第3步:从第二个隐藏层到单个输出

第 1 步

单个输入乘以包含 M 值的向量。向量中的每个值都将表示连接输入和第一个隐藏层的权重。因此,我们将有 M 个乘法运算。

第 2 步

第一个隐藏层(总共M个)中每个值乘以包含N个数值的向量。向量中的每个值表示将第一个隐藏层神经元连接到第二个隐藏层神经元的权重。因此,我们在这里将有M乘以N次计算,即MN次乘法运算。

第 3 步

第二个隐藏层每个数值(共 N 个)都会乘以连接该数值和单个输出的权重要素。因此我们将有 N 个乘法运算。

总之,我们会在每步中增加运算次数:M+MN+N